我们建议承担义义歧义(WSD)的问题。在语言中,相同形式的单词可能取决于上下文。虽然人类可以通过他们的上下文轻松推断出这些单词的含义或光泽,但机器偶然地推断出这个任务。我们打算在黄等人的结果上复制和扩展他们设计消除这些词语的模型(Huang等人。,2019)。具体来说,我们提出了以下增强:数据集调整(Alpha Hyper-参数),集合方法,用BART和Albert更换BERT。以下GitHub存储库包含本报告中使用的所有代码,它延伸到Huang等人提供的代码。
translated by 谷歌翻译
Federated Learning (FL) is a machine learning paradigm that enables the training of a shared global model across distributed clients while keeping the training data local. While most prior work on designing systems for FL has focused on using stateful always running components, recent work has shown that components in an FL system can greatly benefit from the usage of serverless computing and Function-as-a-Service technologies. To this end, distributed training of models with severless FL systems can be more resource-efficient and cheaper than conventional FL systems. However, serverless FL systems still suffer from the presence of stragglers, i.e., slow clients due to their resource and statistical heterogeneity. While several strategies have been proposed for mitigating stragglers in FL, most methodologies do not account for the particular characteristics of serverless environments, i.e., cold-starts, performance variations, and the ephemeral stateless nature of the function instances. Towards this, we propose FedLesScan, a novel clustering-based semi-asynchronous training strategy, specifically tailored for serverless FL. FedLesScan dynamically adapts to the behaviour of clients and minimizes the effect of stragglers on the overall system. We implement our strategy by extending an open-source serverless FL system called FedLess. Moreover, we comprehensively evaluate our strategy using the 2nd generation Google Cloud Functions with four datasets and varying percentages of stragglers. Results from our experiments show that compared to other approaches FedLesScan reduces training time and cost by an average of 8% and 20% respectively while utilizing clients better with an average increase in the effective update ratio of 17.75%.
translated by 谷歌翻译
生成流动网络(GFLOWNETS)是一种算法家族,用于训练在非均衡目标密度下离散对象的顺序采样器,并已成功用于各种概率建模任务。现有的Gflownets培训目标是国家本地的,或者是过渡的本地,或者在整个采样轨迹上传播奖励信号。我们认为,这些替代方案代表了梯度偏见变化权衡的相反目的,并提出了一种利用这种权衡以减轻其有害影响的方法。受到强化学习的TD($ \ lambda $)算法的启发,我们介绍了一个subtrajectory Balance或subtb($ \ lambda $),这是一个GFLOWNET培训目标,可以从不同长度的部分动作子序列中学习。我们表明,SubTB($ \ lambda $)会在先前研究和新环境中加速采样器的收敛,并在具有更长的动作序列和比以前的可能性更长的环境中培训Gflownets。我们还对随机梯度动力学进行了比较分析,阐明了GFLOWNET训练中的偏差变化权衡以及亚条件平衡的优势。
translated by 谷歌翻译
由于传感器的成本和可靠性高,泵的设计人员会尽可能地估算可行操作点所需的传感器数量。获得良好估计的主要挑战是可用的数据量低。使用此数量的数据,估算方法的性能不足以满足客户的要求。为了解决这个缺乏数据的问题,获取高质量数据对于获得良好的估计很重要。根据这些考虑,我们开发了一个主动学习框架,用于估计能量场中使用的模块化多泵的工作点。特别是,我们专注于电涌距离的估计。我们应用主动学习以使用最小数据集估算浪涌距离。结果报告说,主动学习也是真正应用的宝贵技术。
translated by 谷歌翻译
自我监督的学习方法在下游分类任务中显示出令人印象深刻的结果。但是,在理解和解释其学会的表现方面的工作有限。在本文中,我们研究了几种最先进的自我监督模型的表示空间,包括Simclr,Swav,Moco V2和Byol。没有使用类标签信息,我们首先发现了对各种样本子集高度活跃的判别特征,并且对应于图像中的独特物理属性。我们表明,使用这种歧视特征,可以压缩高达50%的自我监督模型的表示空间,而不会显着影响下游线性分类。接下来,我们提出了一个示例自我监督的表示质量评分(或q得分),可以计算,而无需访问任何标签信息。 Q得分,利用判别特征可靠地预测在下游分类任务中是否可能错误地分类为SIMCLR上的AUPRC为0.91,而BYOL在Imagenet-100上进行了训练。 Q得分也可以用作正规化术语,以补救在Imagenet-100,Cifar-10,Cifar-100和STL-10上所有4个自我监督基线的相对准确性相对准确性的相对准确性的相对准确性高达8%。此外,通过热图分析,我们表明Q得分正则化增强了判别特征并降低了特征噪声,从而改善了模型的解释性。
translated by 谷歌翻译
我们为预测资源分配提供了一个有效的参数建模框架,专注于计算资源的量,可以针对无服务器查询处理设置中的数据分析的一系列价格性能目标进行优化。我们深入讨论和评估我们的系统,AutoExecutor如何使用此框架可以自动选择在Azure Synapse上运行的Spark SQL查询的近最佳执行程序和核心计数。我们的技术通过在运行查询的同时大大减少分配和执行者占用的总延期占用者的总延迟器,从而提高了Spark的内置,无功,动态的执行能力分配功能,从而释放可能被其他并发查询或减少整体集群供应需求的执行者。与诸如Sparklens之类的执行后分析工具相比,我们预测在执行它们之前对查询的资源分配,并且还可以解释输入数据大小的更改,以预测所需的分配。
translated by 谷歌翻译
数据增强是自然语言处理(NLP)模型的鲁棒性评估的重要组成部分,以及增强他们培训的数据的多样性。在本文中,我们呈现NL-Cogmenter,这是一种新的参与式Python的自然语言增强框架,它支持创建两个转换(对数据的修改)和过滤器(根据特定功能的数据拆分)。我们描述了框架和初始的117个变换和23个过滤器,用于各种自然语言任务。我们通过使用其几个转换来分析流行自然语言模型的鲁棒性来证明NL-Upmenter的功效。基础架构,Datacards和稳健性分析结果在NL-Augmenter存储库上公开可用(\ url {https://github.com/gem-benchmark/nl-augmenter})。
translated by 谷歌翻译
使用虚拟机或虚拟机监视器(VMM)的虚拟机(VM)的服务器虚拟化是云计算技术的重要组成部分,提供基础架构 - AS-Service(IAAS)。 VMM中的故障或异常可以传播到托管的VMS上,并最终影响在这些VM上运行的应用程序的可用性和可靠性。因此,识别并最终识别它非常重要。然而,由于用户无法访问VMM,异常VMM检测是云环境中的挑战。本文通过引入名为IAD的新机器学习的算法,解决了基于云的环境中的异常VMM检测在基于云的环境中的这种挑战。该算法仅使用VM的资源利用率数据托管在那些VMMS上进行异常VMMS检测。在包括合成和实际的四个数据集上测试了发达的算法的准确性,并与四个其他流行算法进行比较,这也可以用于所描述的问题。结果发现,所提出的IAD算法的平均F1分数为83.7%,在四个数据集上平均平均,并且也优于其他算法,平均f1分数为11 \%。
translated by 谷歌翻译
传统的深度学习方法(DL)需要在中央服务器上收集和处理的培训数据,这些中央服务器通常在保健等隐私敏感域中挑战。为此,提出了一种新的学习范式,称为联合学习(FL),在解决隐私和数据所有权问题的同时将DL的潜力带到了这些域。 FL使远程客户端能够在保持数据本地时学习共享ML模型。然而,传统的FL系统面临多种挑战,例如可扩展性,复杂的基础设施管理,并且由于空闲客户端而被浪费的计算和产生的成本。 FL系统的这些挑战与无服务器计算和功能 - AS-Service(FAAS)平台旨在解决的核心问题密切对齐。这些包括快速可扩展性,无基础设施管理,自动缩放为空闲客户端,以及每次使用付费计费模型。为此,我们为无服务器FL展示了一个新颖的系统和框架,称为不发烟。我们的系统支持多个商业和自主主机的FAAS提供商,可以在机构数据中心和边缘设备上部署在云端,内部部署。据我们所知,我们是第一个能够在一大面料的异构FAAS提供商中启用FL,同时提供安全性和差异隐私等重要功能。我们展示了全面的实验,即使用我们的系统可以成功地培训多达200个客户功能的不同任务,更容易实现。此外,我们通过将其与传统的FL系统进行比较来证明我们的方法的实际可行性,并表明它可以更便宜,更资源效率更便宜。
translated by 谷歌翻译
凝视和头部姿势估计模型的鲁棒性高度取决于标记的数据量。最近,生成建模在生成照片现实图像方面表现出了出色的结果,这可以减轻对标记数据的需求。但是,在新领域采用这种生成模型,同时保持其对不同图像属性的细粒度控制的能力,例如,凝视和头部姿势方向,是一个挑战性的问题。本文提出了Cuda-GHR,这是一种无监督的域适应框架,可以对凝视和头部姿势方向进行细粒度的控制,同时保留该人的外观相关因素。我们的框架同时学会了通过利用富含标签的源域和未标记的目标域来适应新的域和删除图像属性,例如外观,凝视方向和头部方向。基准测试数据集的广泛实验表明,所提出的方法在定量和定性评估上都可以胜过最先进的技术。此外,我们表明目标域中生成的图像标签对有效地传递知识并提高下游任务的性能。
translated by 谷歌翻译